SlimSearcher: Training Efficiency-Aware Web Agents via Adaptive Reward Gating
SlimSearcher：通过自适应奖励门控训练效率感知的网页智能体
🧭 网页智能体的效率感知训练 · 自适应奖励门控 ★ 深度解读
Zhejiang University · Ant Group
多阶段门控机制统一 SFT 与 RL，在保持或提升准确率的同时将工具调用轮数减少 17%–58%
📌 工作参考价值（4 点）
- 效率与效果解耦的奖励设计：可借鉴正确性门控 + 自适应效率锚定的结构，将“任务成功”作为硬约束，效率奖励仅作用于正确轨迹，避免为降低成本而输出空泛答案。在电商 Agent 多步工具调用（查商品、对比价格、调接口）时，能直接压缩不必要的 API 调用，降低延迟和费用。
- SFT 阶段的帕累托过滤：在构建训练数据时，用联合效率分数（工具次数 + token 数）从多个正确轨迹中选出最简路径，引导模型从冷启动就学习高效模式。对生成式推荐语义 ID 的生成路径或 Agent 决策链的冷启动数据清洗有直接迁移性。
- 动态基准避免简洁偏差：在 RL 优化中，不设固定长度惩罚，而是以本批次内成功轨迹的最优效率作为锚点，自适应计算相对奖励。该方法能避免模型在简单任务上偷懒、复杂任务上过度探索，适合需要按 query 难度动态调节计算量的场景。
- 工具与 token 成本分开建模：分别衡量外部工具调用和内部思考 token 的冗余，可针对性地抑制“盲目工具依赖”和“表演式推理”。电商 Agent 常出现反复搜索已获取信息、拖长推理文本的现象，此分离设计可精细化控制资源消耗。